Decoding the Critique Mechanism in Large Reasoning Models
解码大型推理模型中的隐藏批评机制
🧭 大型推理模型 · 隐藏批评机制与向量操控
VinUni-Illinois Smart Health Center, VinUniversity · University of Illinois Urbana-Champaign
发现并操控大型推理模型内部的批评向量，无需训练即可提升自纠和测试时扩展性能
📌 工作参考价值（4 点）
- 在构建多步推理的电商推荐或 Agent 时，可借鉴“插入错误”探测法评估模型自身的错误检测能力，识别推理短板，针对性提升鲁棒性。
- 提取类似批评向量，在推理阶段通过无训练的表示操控，自动纠正生成式推荐解释或 Agent 规划中的中间步骤错误，提升最终输出质量。
- 测试时扩展（如多数投票、Best-of-N）中引入批评向量操控，可进一步增强复杂决策链的性能，直接应用于 Agent 多智能体协作或长程推理。
- 批评向量的存在暗示模型隐式感知错误，可为强化学习微调设计奖励信号：增加对批评向量激活的奖励，增强自我纠错能力。